Hà Khải Phúc là em trai thứ hai của Hà Đông (何東), cha là Hà Sĩ Văn (何仕文, Charles Henry Maurice Bosman, người Do Thái, gốc gác Rotterdam, Hà Lan (đã nhập quốc tịch Anh vào năm 1888); mẹ là bà Thi Đệ (施娣)[1]，người gốc Bảo An, Thâm Quyến, Trung Quốc.

Năm 1873, ông Hà Sĩ Văn nhận thấy việc buôn bán ở Hương Cảng không còn dễ dàng，đã quyết định sang London, Vương quốc Anh phát triển. Vì vậy hầu như mấy anh em được người mẹ một tay dốc sức nuôi nấng，anh em họ Hà tự coi mình là người Trung Quốc, quê quán của mẹ là quê gốc. Năm 1879, hoàn thành khoá học tại trường trung tâm (中央書院), nay là Queen's College (皇仁書院)，ngay sau đó được nhận chức trợ giảng tại đây.